Dense Contexts Are Hard Contexts: Lexical Density Limits Effective Context in LLMs
密集上下文：词法密度限制LLM有效上下文容量
🧭 长上下文 · 信息密度 · find-the-needle评测
Politecnico di Torino · University of Turin
发现词法密度是长上下文性能衰减的第三大因素，高密度信息显著降低LLM检索准确率
📌 工作参考价值（4 点）
- 在Agent、RAG等长上下文构建中，高密度信息（如密集拼接商品详描、用户行为序列）会直接导致LLM忽略关键事实，可尝试先做信息解耦或摘要，降低局部密度后再输入。
- 评测LLM应用的上下文利用能力时，除长度和位置外，应监控信息密度指标，指导prompt压缩或分段策略。
- 生成式推荐的item特征拼接若过于紧凑，可能退化生成质量，需控制信息密度，或采用结构化表示替代自由文本拼接。
- 多智体协作中，多次传递的上下文若不经清洗，密度累积会加速遗忘，可设计密度感知的记忆管理机制。